Tuy nhiên, việc tổ chức các quân khu tỏ ra không hiệu quả, vì vậy ngày 6 tháng 8 năm 1891, Toàn quyền Đông Dương De Lanessan ra nghị định bãi bỏ các quân khu và thay vào đó bằng các đạo quan binh do một sĩ quan cao cấp người Pháp làm tư lệnh với đầy đủ quyền quân sự và dân sự. Về quyền quân sự, chỉ chịu sự chỉ đạo tối cao của Tổng tư lệnh lực lượng quân đội viễn chinh Pháp tại Đông Dương. Về quyền dân sự, ngang với Thống sứ Bắc Kỳ và chịu sự chỉ đạo tối cao của Toàn quyền Đông Dương. Mỗi Đạo quan binh lại được chia ra thành nhiều Tiểu quân khu. Đứng đầu Tiểu quân khu là một sĩ quan có quyền hành tương đương như Công sứ đầu tỉnh dân sự.

Ngày 20 tháng 8 năm 1891, Toàn quyền Đông Dương ra nghị định thành lập ở Bắc Kỳ 4 đạo quan binh:

1. Đạo quan binh I (Phả Lại), đạo lỵ là Phả Lại. Địa bàn gồm 3 tiểu quân khu: Phả Lại, Thái Nguyên, Móng Cái.
2. Đạo quan binh II (Lạng Sơn), đạo lỵ là Lạng Sơn với 3 tiểu quân khu: Lạng Sơn, Cao Bằng, Hà Giang.
3. Đạo quan binh III (Yên Bái), đạo lỵ đặt ở Yên Bái với 3 tiểu quân khu: Yên Bái, Lào Cai, Tuyên Quang.
4. Đạo quan binh IV (Sơn La), đạo lỵ đặt ở Sơn La, địa bàn gồm địa hạt Sơn La và một số tổng tách từ Hưng Hóa sang.

Một nghị định khác được ban hành cùng ngày đã quy định về việc thiết lập các Tiểu quân khu (cercle), quy định chức năng, quyền hạn và cơ cấu về tổ chức nhân sự, lực lượng của các Tiểu quân khu trong các Đạo quan binh. Chỉ huy Tiểu quân khu là một sĩ quan cao cấp, được trao các quyền hạn như Công sứ, phó Công sứ và trực tiếp quản lý hành chính Tiểu quân khu; Chỉ huy Tiểu quân khu do Toàn quyền Đông Dương bổ nhiệm theo đề nghị của Tướng Tổng chỉ huy tối cao quân đội Pháp ở Đông Dương.[1]

Như vậy, về tổ chức hành chính, mỗi đạo quan binh được coi như ngang với cấp tỉnh, được phân chia thành các đơn vị hành chính tới cấp tổng, xã, có hội đồng tương đương hội đồng tỉnh và có ngân sách riêng. Căn cứ vào tình hình chiến sự và yêu cầu quản lý điều hành, các đạo quan binh luôn có sự thay đổi, nhưng về cơ bản vẫn là những tổ chức đặc trách quân sự nhằm đàn áp các phong trào đấu tranh vũ trang của người Việt chống lại sự cai trị của thực dân Pháp. Ở những nơi phong trào đấu tranh của người Việt lên cao, chính quyền thực dân sẽ cho sáp nhập vùng đó vào các đạo quan binh. Nơi nào phong trào tạm thời lắng xuống, sẽ lại chuyển trả về quyền quản lý của giới dân sự.

Với tổ chức đạo quan binh, thực dân Pháp nhắm đến tính chủ động, cơ động, linh hoạt cho sự chỉ huy quân sự, đàn áp phong trào đấu tranh của người Việt. Bên cạnh đó, thực dân Pháp cũng đẩy mạnh việc xây dựng lực lượng quân sự bản xứ, đặc biệt là lực lượng lính khố xanh, chuyên trách việc đàn áp các cuộc khởi nghĩa, phục vụ ở các đạo quan binh, canh gác nhà tù ở phủ, huyện, châu...